Distributionally robust optimization (DRO) can improve the robustness and fairness of learning methods. In this paper, we devise stochastic algorithms for a class of DRO problems including group DRO, subpopulation fairness, and empirical conditional value at risk (CVaR) optimization. Our new algorithms achieve faster convergence rates than existing algorithms for multiple DRO settings. We also provide a new information-theoretic lower bound that implies our bounds are tight for group DRO. Empirically, too, our algorithms outperform known methods
translated by 谷歌翻译
通过利用和适应到目前为止获得的知识，人类具有识别和区分他们不熟悉的实例的天生能力。重要的是，他们实现了这一目标，而不会在早期学习中恶化表现。受此启发，我们识别并制定了NCDWF的新的，务实的问题设置：新颖的类发现而无需忘记，哪个任务是机器学习模型从未标记的数据中逐步发现实例的新颖类别，同时在先前看到的类别上保持其性能。我们提出1）一种生成伪内表示的方法，该表示的代理（不再可用）标记的数据，从而减轻遗忘的遗忘，2）基于相互信息的正常化程序，可以增强对新型类别的无聊发现，而3）a 3）当测试数据包含所见类别和看不见的类别的实例时，简单的已知类标识符可以有助于广义推断。我们介绍了基于CIFAR-10，CIFAR-100和IMAGENET-1000的实验协议，以衡量知识保留和新型类发现之间的权衡。我们广泛的评估表明，现有的模型在确定新类别的同时灾难性地忘记了先前看到的类别，而我们的方法能够有效地在竞争目标之间平衡。我们希望我们的工作能够吸引对这个新确定的实用问题设定的进一步研究。
translated by 谷歌翻译
高通量基因组学正在为个性化医疗保健和针对性的药物设计和分娩中带来一个新时代。挖掘这些大型数据集并获得校准的预测是直接相关性和实用性。在我们的工作中，我们开发了基于深神网络的基因表达推断的方法。但是，与典型的深度学习方法不同，我们的推论技术在准确性方面达到最新性能，也可以提供解释并报告不确定性估计。我们采用分位数回归框架来预测一组保留基因表达的房屋的完整条件分位数。有条件的分位数除了提供对预测的丰富解释外，还对测量噪声也很强。但是，用于驱动估计过程的分位数回归中使用的检查损耗是无可分析的。我们将log-cosh作为检查损失的平滑效力。我们将方法应用于地理微阵列数据集。我们还将方法扩展到二进制分类设置。此外，我们研究了更快收敛损失的平稳性的其他后果。
translated by 谷歌翻译
简短的答案评分（SAS）是对学习者编写的简短文本的任务。近年来，基于深度学习的方法显着改善了SAS模型的性能，但是如何在将此类模型应用于教育领域时，如何保证高质量的预测仍然是一个关键问题。为了确保高质量的预测，我们介绍了探索人类在循环框架中使用分级成本的第一个研究，同时通过允许SAS模型与人类分级器共享分级任务，以确保分级质量。具体而言，通过引入指示模型预测可靠性的置信度估计方法，可以通过仅利用对评分结果可靠性高的预测来保证评分质量，并对人类分级的可靠性低可靠性。在我们的实验中，我们使用多个置信度估计方法和多个SAS数据集研究了提出的框架的可行性。我们发现，我们的人类框架框架允许自动评分模型和人类分级器达到目标评分质量。
translated by 谷歌翻译
数据分析方法的组合，提高计算能力和改进的传感器可以实现定量颗粒状，基于细胞的分析。我们描述了与组织解释和调查AI方法有关的丰富应用挑战集，目前用于应对这些挑战。我们专注于一类针对性的人体组织分析 - 组织病理学 - 旨在定量表征疾病状态，患者结果预测和治疗转向。
translated by 谷歌翻译
在测试时间适应（TTA）中，给定在某些源数据上培训的模型，目标是使其适应从不同分布的测试实例更好地预测。至关重要的是，TTA假设从目标分布到Finetune源模型，无法访问源数据或甚至从目标分布到任何其他标记/未标记的样本。在这项工作中，我们考虑TTA在更务实的设置中，我们称为SITA（单图像测试时间适应）。这里，在制作每个预测时，该模型只能访问给定的\ emph {单}测试实例，而不是实例的\ emph {批次}。通常在文献中被考虑。这是由逼真的情况激励，其中在按需时尚中需要推断，可能不会被延迟到“批量 - iFY”传入请求或者在没有范围的边缘设备（如移动电话中）发生推断批处理。 SITA的整个适应过程应在推理时间发生时非常快。为了解决这个问题，我们提出了一种新颖的AUGBN，用于仅需要转发传播的SITA设置。该方法可以为分类和分段任务的单个测试实例调整任何特征训练模型。 AUGBN估计仅使用具有标签保存的转换的一个前进通过的给定测试图像的看不见的测试分布的正常化统计。由于AUGBN不涉及任何反向传播，与其他最近的方法相比，它显着更快。据我们所知，这是仅使用单个测试图像解决此硬调整问题的第一个工作。尽管非常简单，但我们的框架能够在我们广泛的实验和消融研究中对目标实例上应用源模型来实现显着的性能增益。
translated by 谷歌翻译